Do We Dream of Posthumanity?

Do We Dream of Posthumanity?는 인간과 AI를 구별하고 스스로의 정체성을 판단하는 방법에 대한 고민을 던지는 참여형 전시 프로젝트입니다.

사용자는 자신의 존재와 정체성에 대한 5가지 철학적 질문(심문)들에 육성으로 답하게 되며, 사용자의 대답을 토대로 AI는 포스트 휴먼으로 변형된 사용자의 모습을 그려냅니다.

최종적으로 포스트휴먼으로 덧그려진 사용자의 초상은 NFT로 민팅되어 ‘알고리즘’의 일부가 되고, 심문의 주체 또한 ‘알고리즘’일 수 있다는 사실을 제시합니다. 이를 통해 사용자는 스스로의 정체성에 대한 의문을 간직한 채 체험을 종료하게 됩니다.

기획

배경

본 프로젝트는 글로벌 아트테크 컨퍼런스 FuturaCanvas 2025에서 전시하기 위하여 제작되었습니다.

개발 커뮤니티 위주로 활동하던 제가 예술 컨퍼런스에서 프로젝트를 전시하게 된 계기는 의외로 블록체인과 관련이 있습니다.

제가 속한 블록체인 학회에서 KBW(Korean Blockchain Week) 사이드 이벤트들에 협업 요청을 하던 중 FuturaCanvas와 연이 닿게 되었고, 컨퍼런스 측에서 이전에 개발했던 Musual 프로젝트를 보고 전시 프로젝트 제의를 주셨습니다. 마침 저도 디지털 아트 작품을 해보고 싶던 터라 흔쾌히 수락하였습니다.

팀 구성

평소 디지털 아트에 관심이 많던 학회원 친구 두 명과 팀을 이뤄 제작하였습니다. 저는 컨셉 구체화와 프로젝트 디자인 및 개발을 맡았고, 다른 팀원들은 컨셉 기획과 비주얼 디자인을 맡았습니다.

주제

컨퍼런스 주제인 “알고리즘 인류” - 알고리즘, 즉 기술을 통해 재탄생한 자아 - 를 보고 AI가 인간의 모든 것들을, 어쩌면 생각까지도 대체하고 있는 이 시대에 무엇이 인간과 AI를 구분지을 수 있을지 의문이 떠올랐습니다.

우리가 생각해낸 답은 “의문”이었습니다. 자신의 정체성에 의문을 갖고, 그것에 답하기 위하여 끊임없이 사색하고 경험하는 것. 그로 인하여 스스로에 대한 감각을 잃지 않는 것.

우리는 사용자가 체험을 통해 스스로의 정체성을 구별지을 수 있는 유일한 것, 자신의 정체성에 대한 의문을 가지고 나갈 수 있도록 하고 싶었고, 그러한 체험을 제공할 수 있는 참여형 전시를 만들기로 결정하였습니다.

AI - Algorithm

인간과 AI를 구별하는 체험을 어떤 방식으로 만들지 고민하다가, 필립 K. 딕의 SF 소설, [안드로이드는 전기양의 꿈을 꾸는가?]에 나오는 안드로이드와 인간을 구분하는 테스트인 Voight-Kampff Test가 떠올랐습니다.

눈 앞의 상대를 물리적으로 심문하는 소설 속 테스트와는 달리, 현대의 인터넷 - 알고리즘 - 속의 우리는 더 이상 인간과 AI를 구분할 수 없게 되었습니다. 우리의 행동을 파악하고 유도하는 알고리즘은 타인의 존재뿐만 아니라 자신의 생각마저 확신할 수 없게 만들었고, 스스로의 정체성에 대한 생각조차도 정말 스스로의 생각인지 알 수 없게 만들었습니다.

이를 표현하기 위하여, Voight-Kampff Test의 질답을 뒤틀었습니다. 체험은 감정을 불러일으키는 질문 대신 사용자에게 정체성에 대한 철학적 질문을 제시합니다. 답변을 토대로 AI는 사용자의 모습을 포스트휴먼으로 변형하고, 이는 실제 모습과 동시에 제시됩니다. 이 답변은 누가 생각한 답변일까요? 사용자? 알고리즘? 타인은 당신을 무엇이라고 생각할까요? 인간? AI?

Blockchain

또한, 인간의 행동을 모방하여 구분할 수 없게 하는 AI와 데이터 주권을 부여하는 블록체인의 대비가 흥미로웠고, 이 둘을 한 번에 체험할 수 있는 경험을 제공하고 싶었습니다.

우리는 NFT에 주목했습니다. NFT는 모두가 익명인 블록체인 위에서의 소속, 소유, 권한.. 그리고 정체성의 증명 수단입니다. 그러나, 네트워크 상의 증명은 시스템적 구분일 뿐입니다.

우리는 이를 표현하기 위하여, 사용자를 통해 생성된 포스트휴먼의 초상이 NFT로 민팅되도록 구성하였습니다. 시스템 - 알고리즘 - 상에서 인간과 증명 수단을 가진 AI를 구분할 수 있을까요?

디자인

주제들과 모티브, 체험의 흐름을 토대로 ‘AI 구별 테스트’ 테마의 UI/UX를 디자인하였습니다.

진지한 주제에 맞추어 전반적인 톤을 흑백으로 구성하였고 화면 요소들을 반드시 필요한 것들로만 제한하였습니다. 글로벌 컨퍼런스임을 고려하여 영어와 일본어를 지원하도록 구성하였습니다.

컨셉 디자인을 맡은 팀원들이 AI 이미지의 생성 포맷(Prompt, Style)과 심문 문답을 디자인하였습니다.

개발

Architecture

• Frontend : Next.js (Typescript)
• Backend : Node.js (Typescript, Bundled in Next.js)
• AI : Sogni AI
• IPFS : Pinata

빠른 프로토타이핑과 Web3 라이브러리 호환성을 위하여 Typescript 기반 Next.js + Node.js 스택으로 서비스를 구성하였습니다.

AI는 이전에 Musual 프로젝트에서 사용하였던 Sogni AI를 사용하였는데, 사용한 첫 번째 이유는 DeAI 서비스가 본 전시의 주제에 어울리기 때문이고, 두 번째는 경험을 통해 사용법을 익힌 서비스이기 때문이고, 세 번째는 전시를 통해 타 프로젝트에 사용할 수 있는 추가 크레딧 그랜트를 받을 수 있었기 때문입니다. (물론 첫 번째가 제일 큽니다)

NFT 이미지 저장에는 Pinata IPFS 서비스를 사용하였습니다. 분산된 방식으로 컨텐츠를 저장하기에 탈중앙화 NFT 컨텐츠 저장에 일반적으로 쓰이는 방식이고, 알고리즘 - 네트워크 - 상에 사용자가 포함된다는 핵심 주제에 적합하기에 선택했습니다.

Workflow

본 프로젝트의 체험은 위 플로우 차트와 같은 순서로 진행됩니다. 이 중, 주요 기능은 크게 질답과 이미지 생성 두 가지로 나눌 수 있습니다.

질답

화면에는 사용자를 비추는 웹캠 화면과 질문이 표시되고, 사용자는 응답 버튼을 클릭한 뒤 마이크에 대고 질문에 응답합니다.

사용자의 음성 데이터에서 특징(높낮이, 속도, 지터 등)을 추출하여 결과물의 스타일(distorted, wet, glitching..) 프롬프트에 매핑하고, 카메라로 캡쳐한 사용자의 전면 사진과 함께 AI에게 전달합니다.

이때 프롬프트에 매핑하는 데이터는 실제 발화문이 아닌 음성의 특징만 추출하여 사용하는데, 이는 원작의 방식(거짓말 탐지기같이 신체적 반응만을 확인)을 반영한 것으로 텍스트로 변환된 답변은 AI의 답변과 구분하기 어렵다는 핵심 주제를 담은 것이기도 합니다.

이미지 생성

질답을 통해 생성한 프롬프트로 AI 모델에 이미지 생성 요청 시,

최종 생성된 이미지는 일관적인 구조의 결과값을 얻을 수 있도록 가이드 이미지와 ControlNet 어댑터를 설정하여 출력합니다. 이전 질답들을 통하여 생성된 이미지를 포스트휴먼의 이미지로 최종 재가공하도록 함으로써 포스트휴먼으로서의 자신과 인간으로서의 자신의 이미지가 점점 큰 폭으로 변하도록 설계하였습니다.

이미지는 IPFS에 분산된 방식으로 영구 저장되며, 차후 수동으로 NFT로 민팅됩니다.

Challenge / Experience

설계 중 했던 고민으로 최종 이미지를 NFT로 민팅하는 작업을 애플리케이션 내에서 실시간으로 할지 / 차후에 수동으로 처리할지에 대한 선택이 있었습니다.

애플리케이션의 워크플로우에 실시간 민팅이 포함될 경우 두 가지 문제를 예상할 수 있었습니다.

1. 비용 문제

발생할 수 있는 비용에는 크게 두 가지가 있습니다.

첫 번째는 네트워크 비용입니다. Ethereum 메인넷 기준, 스마트 컨트랙트와 통신하여 네트워크 상에 NFT를 민팅하고 그 결과를 확인시켜주기까지는 평균적으로 10초 이상의 시간이 소요되며, L2 환경에서도 2초 이상의 시간이 소요됩니다.

실시간성이 중요한 체험형 전시임을 고려할 때, 민팅 완료까지 대기한 이후 결과를 보여준다면 지연 시간으로 인하여 사용자 경험이 저하될 것입니다. 이를 해결하기 위하여 민팅을 백그라운드에서 처리한다면 사용자 입장에서는 수동으로 처리하는 것과 다르지 않을 것입니다.

두 번째는 인지적 비용입니다. Web3 환경에 익숙하지 않은 관람객들이 대부분인 상황을 고려했을 때, 민팅 결과를 확인하더라도 이것이 무엇을 의미하는 것인지 제대로 이해하지 못하는 사용자들이 더 많을 것입니다.

따라서 민팅 결과를 보여주는 것이 효용을 가지려면 사용자들의 Web3 이해도를 높여야 하는데, 교육적인 내용은 짧은 체험 시간 내에 녹여내기 어려울 뿐더러 본 컨텐츠 몰입을 저해할 수 있습니다.

2. AI 생성 이미지 품질 문제

아무리 정확한 Prompt와 Guidance를 입력하더라도 AI의 결과물을 완전히 통제할 수는 없습니다.

AI의 실수로 인하여 가공(변형) 없이 사용자의 얼굴 사진을 그대로 응답하거나 적절하지 못한 이미지를 만드는 등의 상황이 발생했을 시, 잘못된 이미지를 그대로 민팅하게 된다면 수정하기 어려운 큰 문제가 발생할 수 있습니다.

위 문제들을 고려했을 때, 차후 수동으로 민팅하는 것이 더 합리적이고 안전한 선택이라는 결론을 내렸습니다.

전시

본 프로젝트는 2025년 9월 25-26 이틀간 FuturaCanvas 2025 컨퍼런스에서 전시되었으며 68명의 관객이 전시를 체험하였습니다.

관객들의 전시 체험을 통해 생성된 68명의 포스트휴먼의 초상은 NFT 컬렉션 Do We Dream of Posthumanity으로 민팅되었습니다.